Beliau mulai berkhidmat dengan kerajaan negeri Johor ketika berumur 16 tahun, sebagai Pelatih Kerani di Pejabat Menteri kepada Temenggung Ibrahim. Dalam tahun 1856 beliau telah dilantik sebagai Kerani Besar di Pejabat Menteri, dan kemudiannya beliau terus memangku jawatan Dato' Menteri sehingga tahun 1882, dan kemudian terus dilantik sebagai Menteri Besar Johor oleh (Maharaja) Sultan Abu Bakar.

Perlantikan Datuk Jaafar bin haji Muhammad sebagai Menteri Besar ini adalah merupakan peristiwa bersejarah bagi negeri Johor, kerana inilah julung-julung kalinya seorang Menteri Besar dilantik dalam pentadbiran kerajaan Johor Moden.

Beliau adalah pengiring Maharaja Abu Bakar dalam lawatan pertamanya ke Eropah pada tahun 1876. Ketika memegang tugas sebagai Menteri Besar, beliau pernah memangku tugas Sultan Johor untuk menjalankan pentadbiran negeri, ketika baginda keluar negeri. Pada tahun 1904 beliau telah dilantik oleh Sultan sebagai Pemangku Raja.

Tugasnya yang terpenting ialah memimpin negeri serta menjalankan pentadbiran negeri. Beliau adalah seorang yang berani dan bersemangat waja dalam menjalankan tugasnya.